In recent years, large amounts of effort have been put into pushing forward the real-world application of dynamic digital human (DDH). However, most current quality assessment research focuses on evaluating static 3D models and usually ignores motion distortions. Therefore, in this paper, we construct a large-scale dynamic digital human quality assessment (DDH-QA) database with diverse motion content as well as multiple distortions to comprehensively study the perceptual quality of DDHs. Both model-based distortion (noise, compression) and motion-based distortion (binding error, motion unnaturalness) are taken into consideration. Ten types of common motion are employed to drive the DDHs and a total of 800 DDHs are generated in the end. Afterward, we render the video sequences of the distorted DDHs as the evaluation media and carry out a well-controlled subjective experiment. Then a benchmark experiment is conducted with the state-of-the-art video quality assessment (VQA) methods and the experimental results show that existing VQA methods are limited in assessing the perceptual loss of DDHs. The database will be made publicly available to facilitate future research.

Referring image segmentation aims at localizing all pixels of the visual objects described by a natural language sentence. Previous works learn to straightforwardly align the sentence embedding and pixel-level embedding for highlighting the referred objects, but ignore the semantic consistency of pixels within the same object, leading to incomplete masks and localization errors in predictions. To tackle this problem, we propose CoupAlign, a simple yet effective multi-level visual-semantic alignment method, to couple sentence-mask alignment with word-pixel alignment to enforce object mask constraint for achieving more accurate localization and segmentation. Specifically, the Word-Pixel Alignment (WPA) module performs early fusion of linguistic and pixel-level features in intermediate layers of the vision and language encoders. Based on the word-pixel aligned embedding, a set of mask proposals are generated to hypothesize possible objects. Then in the Sentence-Mask Alignment (SMA) module, the masks are weighted by the sentence embedding to localize the referred object, and finally projected back to aggregate the pixels for the target. To further enhance the learning of the two alignment modules, an auxiliary loss is designed to contrast the foreground and background pixels. By hierarchically aligning pixels and masks with linguistic features, our CoupAlign captures the pixel coherence at both visual and semantic levels, thus generating more accurate predictions. Extensive experiments on popular datasets (e.g., RefCOCO and G-Ref) show that our method achieves consistent improvements over state-of-the-art methods, e.g., about 2% oIoU increase on the validation and testing set of RefCOCO. Especially, CoupAlign has remarkable ability in distinguishing the target from multiple objects of the same class.

The image captioning task is typically realized by an auto-regressive method that decodes the text tokens one by one. We present a diffusion-based captioning model, dubbed the name DDCap, to allow more decoding flexibility. Unlike image generation, where the output is continuous and redundant with a fixed length, texts in image captions are categorical and short with varied lengths. Therefore, naively applying the discrete diffusion model to text decoding does not work well, as shown in our experiments. To address the performance gap, we propose several key techniques including best-first inference, concentrated attention mask, text length prediction, and image-free training. On COCO without additional caption pre-training, it achieves a CIDEr score of 117.8, which is +5.0 higher than the auto-regressive baseline with the same architecture in the controlled setting. It also performs +26.8 higher CIDEr score than the auto-regressive baseline (230.3 v.s.203.5) on a caption infilling task. With 4M vision-language pre-training images and the base-sized model, we reach a CIDEr score of 125.1 on COCO, which is competitive to the best well-developed auto-regressive frameworks. The code is available at https://github.com/buxiangzhiren/DDCap.

在过去的十年中，数字人类吸引了越来越多的研究兴趣，而这些人的代表，渲染和动画已经付出了很大的努力。但是，数字人类的质量评估已落后。因此，为了应对数字人类质量评估问题的挑战，我们提出了第一个用于扫描数字人头（DHHS）的大规模质量评估数据库。构造的数据库由55个参考DHHS和1,540个扭曲的DHHS以及主观评分组成。然后，提出了一种简单而有效的全参考（FR）基于投影的方法。预处理的SWIN变压器微小用于分层提取，并将多头注意模块用于特征融合。实验结果表明，所提出的方法在主流FR指标中表现出最先进的表现。该工作中介绍的数据库和方法将公开可用。

生成对抗网络（GAN）的适应旨在将预训练的GAN转移到具有有限培训数据的给定领域。在本文中，我们专注于单次案例，这在以前的作品中更具挑战性，很少探索。我们认为，从源域到目标域的适应性可以分为两个部分：全球样式（如纹理和颜色）的转移，以及不属于源域的新实体的出现。虽然先前的作品主要关注样式转移，但我们提出了一个新颖而简洁的框架\ footNote {\ url {https://github.com/thevoidname/generalized-onerized-one-one-shot-gan-adaption}}，以解决\ textit {对样式和实体传输的一般性单发适应性}任务，其中提供了参考图像及其二进制实体掩码。我们的核心目标是通过切成薄片的瓦斯坦距离来限制参考文献和合成的内部分布之间的差距。为了更好地实现这一目标，首先使用样式固定来大致获得模范样式，并将辅助网络引入原始生成器以删除实体和样式传输。此外，为了实现跨域的对应关系，我们提出了变异的拉普拉斯正则化以限制适应性发生器的平滑度。定量和定性实验都证明了我们方法在各种情况下的有效性。

由于预计不断增长的3D视觉应用程序将为用户提供具有成本效益和高质量的体验，因此人们非常强调点云的视觉质量。回顾点云质量评估（PCQA）方法的开发，通常通过使用单模式信息，即从2D投影或3D点云中提取的视觉质量进行评估。 2D投影包含丰富的纹理和语义信息，但高度依赖于观点，而3D点云对几何变形更敏感，并且对观点不变。因此，为了利用点云和投影图像模式的优势，我们提出了一种新型的无引用点云质量评估（NR-PCQA），以多模式方式进行。在具体上，我们将点云分为子模型，以表示局部几何变形，例如点移和下采样。然后，我们将点云渲染为2D图像投影，以进行纹理特征提取。为了实现目标，子模型和投影图像由基于点和基于图像的神经网络编码。最后，使用对称的跨模式注意来融合多模式质量意识的信息。实验结果表明，我们的方法的表现都优于所有最新方法，并且远远超过了先前的NR-PCQA方法，这突出了所提出方法的有效性。

Point Cloud是3D内容使用最广泛使用的数字表示格式之一，其视觉质量可能会在生产过程中遇到噪声和几何变化，以及在传输过程中的压缩和压缩采样。为了应对点云质量评估（PCQA）的挑战，已经提出了许多PCQA方法来评估点云的视觉质量水平，以评估渲染的静态2D投影。尽管这种基于投影的PCQA方法在成熟图像质量评估（IQA）方法的帮助下实现了竞争性能，但它们忽略了动态质量感知信息，这与观察者倾向于通过两种静态感知点云的事实完全不符和动态视图。因此，在本文中，我们将点云视为移动相机视频，并通过使用视频质量评估（VQA）方法（NR）方式探索处理PCQA任务的方式。首先，我们通过四个圆形路径将相机围绕点云旋转来生成捕获的视频。然后，我们分别使用可训练的2D-CNN和预训练的3D-CNN模型从所选的关键帧和视频剪辑中提取空间和时间质量感知功能。最后，点云的视觉质量由回归的视频质量值表示。实验结果表明，所提出的方法可有效预测点云的视觉质量水平，甚至可以使用全参考（FR）PCQA方法竞争。消融研究进一步验证了提出的框架的合理性，并确认了从动态视图中提取的质量感知特征所做的贡献。

视觉语言（VL）预训练最近受到了广泛的关注。但是，大多数现有的端到端预训练方法只旨在解决诸如图像文本检索，视觉询问答案（VQA）和图像字幕等VL任务，以测试对图像的高级了解，或者仅对目标区域进行测试 - 对诸如短语接地和对象检测等任务的水平理解。我们提出了Fiber（基于回避的变压器），这是一种新的VL模型体系结构，可以无缝处理这两种类型的任务。 Fiber没有将多模式融合到模型深处，而不是将融合后的专用变压器层用于融合，而是通过将交叉注意力插入图像和文本骨干杆中，从而在记忆和性能方面带来了增长。此外，与以前的工作不同，它要么仅在图像文本数据上进行训练，要么在带有框级注释的细粒度数据上进行培训，我们提出了一种两阶段的预训练策略，该策略有效地使用了这两种数据：（（ i）基于图像文本数据的粗粒细化预训练；然后是（ii）基于图像文本框数据的细粒度预训练。我们对各种VL任务进行全面的实验，从VQA，图像字幕和检索到短语接地，参考表达理解和对象检测。使用深层多模式融合，结合两阶段的预训练，光纤可对所有任务的强基础进行一致的性能改进，通常使用幅度更优于更多数据的方法。代码可从https://github.com/microsoft/fiber获得。

随着渲染技术的开发，计算机图形生成的图像（CGI）已被广泛用于实践应用程序，例如建筑设计，视频游戏，模拟器，电影等。与自然场景图像（NSIS）不同，CGIS的扭曲是通常是由于施用设置不良和计算资源有限而引起的。更重要的是，某些CGI也可能遭受云游戏和流媒体等传输系统中的压缩变形。但是，已经提出了有限的工作来解决计算机图形生成图像的质量评估（CG-IQA）的问题。因此，在本文中，我们建立了一个大规模的主观CG-IQA数据库，以应对CG-IQA任务的挑战。我们通过以前的数据库和个人收藏来收集25,454个野外CGI。清洁数据后，我们仔细选择1,200 CGI来进行主观实验。在我们的数据库中测试了几种流行的无参考图像质量评估（NR-IQA）方法。实验结果表明，基于手工制作的方法与主观判断和基于深度学习的方法实现了较低的相关性，获得了相对更好的性能，这表明当前的NR-IQA模型不适合CG-IQA任务，并且迫切需要更有效的模型。

由于空间分辨率的巨大改进，4K内容可以为消费者提供更严肃的视觉体验。但是，由于分辨率扩大和特定的扭曲，现有的盲图质量评估（BIQA）方法不适合原始和升级的4K内容物。在本文中，我们提出了一个针对4K内容的深度学习的BIQA模型，一方面可以识别True和pseudo 4K内容，另一方面可以评估其感知视觉质量。考虑到高空间分辨率可以代表更丰富的高频信息的特征，我们首先提出了基于灰色级别的共发生矩阵（GLCM）的纹理复杂度度量，以从4K图像中选择三个代表性图像贴片，这可以减少计算复杂性，被证明对通过实验的总体质量预测非常有效。然后，我们从卷积神经网络（CNN）的中间层中提取不同种类的视觉特征，并将它们集成到质量感知的特征表示中。最后，使用两个多层感知（MLP）网络用于将质量感知功能映射到类概率和每个贴片的质量分数中。总体质量指数是通过平均贴片结果汇总获得的。提出的模型通过多任务学习方式进行了训练，我们引入了不确定性原理，以平衡分类和回归任务的损失。实验结果表明，所提出的模型的表现均优于所有4K内容质量评估数据库中的BIQA指标。